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O enigma do ENADE 

Simon Schwartzman 

Os resultados do Exame Nacional de Desempenho dos Estudantes, publicados pelo 
Ministerio da Educacao recentemente para 13 areas de conhecimento, mostrou um 
resultado inesperado: em muitos cursos, a media de conhecimentos dos estudantes que 
concluiam os cursos em sua area especifica de estudos era pior do que a media dos 
que entraram! O ENADE pretendeu inovar, em relacao ao antigo Exame Nacional de 
Cursos, o Provao, em uma serie de aspectos, entre os quais a realizacao de testes de 
conhecimentos gerais, alem do teste de conhecimentos especificos; a aplicacao da 
mesma prova para alunos no inicio e no fim dos cursos; e o uso de uma amostra de 
estudantes, no lugar da obrigacao que os formandos tinham anteriormente de fazer o 
"provao". A ultima inovacao foi o calculo de um conceito geral de cada curso, a partir 
da ponderacao destes diferentes resultados. Sera que estas inovacoes resultaram em 
uma avaliacao melhor? 

Este texto nao pretende fazer uma avaliacao detalhada da metodologia e dos 
resultados do ENADE, mas, somente, chamar a atencao para alguns problemas e 
diividas mais evidentes, que precisariam ser melhor elucidados, a comecar pela 
questao dos resultados negativos dos cursos. Esta nova versao se beneficia do fato de 
que ja estao disponiveis, na pagina do INEP na Internet, varios documentos relativos 
ao ENADE, inclusive um resumo tecnico geral, relatorios especificos por area de 
conhecimento, as provas utilizadas, e os gabaritos das respostas. Alem disto, existe 
uma planilha Excel com os conceitos de cada curso, e mais algumas informa§6es, que 
utilizei para tratar de entender melhor o que estava ocorrendo. 

O resumo tecnico explica os procedimentos de amostragem, assim como a estrutura 
geral das provas, compostas de uma parte comum, de avalia§ao da forma§ao geral dos 
estudantes, composta de 10 itens, e outra sobre conhecimentos especificos de cada 
area, composta de mais 30 itens, de multipla escolha e discursivos nos dois casos. 
Segundo o relatorio, cada item das provas foi avaliado atraves da correla§ao que tern 
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com a prova como um todo, e foram eliminados os itens sem correlacao. Existe muita 
informacao tambem sobre o grau de dificuldade ou facilidade com de cada item. 

A amostra 

A parte estatistica no resumo tecnico esta apresentada em uma linguagem de dificil 
compreensao para os nao estatisticos, mas nao e muito dificil de decifrar. Em total, o 
exame foi aplicado a uma amostra de 140 mil estudantes, para uma populacao de 250 
mil, ou seja, 56% do total. O metodo foi de "amostragem estratificada com selecao 
aleatoria simples em cada estrato", o que significa que os estudantes foram 
selecionados por sorteio dentro de todas as faculdades aonde existiam turmas 
iniciantes ou concluintes. O niimero de alunos selecionados dentro de cada turma 
dependeu de uma estimativa da variacao das notas, feita a partir dos resultados do 
provao, quando havia. Quando as turmas eram muito pequenas, as provas eram 
aplicadas a todos os alunos. 

Pode ser que este procedimento tenha reduzido o custo de analisar as perguntas 
abertas, mas, por outro lado, nao deve ter havido ganho no trabalho de aplicacao dos 
questionarios, ja que tanto faz aplicar uma prova para todos ou metade dos alunos de 
uma turma, e podem ter havido problemas de representatividade. Dez mil outros 
estudantes participaram do exame como voluntaries, por mandates de seguranca, ou 
"como inscritos fora do prazo", mas nao se sabe se os resultados das provas destes 
estudantes, que seguramente deformariam a amostra, estao incluidos ou nao nos 
calculos. Tambem nao se sabe qual foi o rigor no sorteio dos alunos que 
participaram. Correm muitas historias de cursos aonde so os melhores participaram, 
mas nao e possivel dizer se esta situacao chegou a comprometer o resultado final das 
avaliacoes. 

Como as provas foram elaboradas. 

A prova de formacao geral foi extremamente ambiciosa. Segundo o documento 
tecnico, ela buscou avaliar "a formacao de um profissional etico, competente e 
comprometido com a sociedade em que vive. Foram tambem consideradas as 
habilidades do estudante para analisar, sintetizar, criticar, deduzir, construir hipoteses, 
estabelecer relacoes, fazer comparacoes, detectar contradicoes, decidir, organizar, 
trabalhar em equipe e administrar conflitos." Isto em 8 questoes de multipla escolha. 
Alem disto, haviam duas questoes discursivas, que investigavam, segundo o resumo 
tecnico, "aspectos como a clareza, a coerencia, a coesao, as estrategias 
argumentativas, a utilizacao de vocabulario adequado e a corre§ao gramatical do 
texto. Finalmente, na avalia§ao da forma§ao geral foram contemplados temas como: 



sociodiversidade, biodiversidade, globalizacao, novos mapas sociais, economicos e 
geopolfticos, polfticas piiblicas, redes sociais, relacoes interpessoais, inclusao e 
exclusao digital, cidadania e problematicas contemporaneas." 

Sem entrar no merito dos conteiidos (que mistura questoes comportamentais, como o 
"comprometimento com a sociedade", com habilidades gerais, como "clareza", e 
conhecimentos especificos, como "biodiversidade" e "novos mapas sociais"), e 
bastante improvavel que esta prova tenha conseguido medir o que pretende, ja que 
inclui cerca de 30 dimensoes diferentes. Qualquer pessoa minimamente familiarizada 
com a elaboracao de provas sabe que, para medir cada uma destas dimensoes, seria 
necessario elaborar uma bateria de itens que precisariam ser testados de antemao, e 
resultariam em uma prova muito maior do que estes 10 itens que foram aplicados. 
Nao e de se surpreender que o Ministerio nao esteja divulgando os resultados 
detalhados destas provas, em todas suas dimensoes. 

Que tipo de escala foi utilizado? 

Os testes foram preparados por comissoes de professores, e podem ser vistos na 
documentacao do Ministerio. A principal diivida aqui e se estes testes obedecem a 
uma escala absoluta ou uma escala relativa. Na tradicao brasileira, onde se usam 
escalas de notas de a 10, a interpretacao de sentido comum e que quern tira 10 e um 
excelente aluno, quern tira 7 e um aluno mais ou menos, quern tira 4 ou 5 esta a ponto 
de ser reprovado, e quern tira menos do que isto nao aprendeu o que devia. No 
entanto, basta pensar um pouco para entendermos que esta interpretacao e totalmente 
subjetiva - alguns professores sao bonzinhos, e dao notas altas para todos, e outros 
sao "carrascos", e so dao notas baixas. Nao e possivel comparar um 7 do professor A 
com o professor B, ou um 7 em matematica com um 7 em geografia. 

Existem duas solucoes possiveis para este problema. A primeira, mais simples, 
consiste em transformar as notas em posicoes relativas em relacao a media, de tal 
maneira que se possa dizer que tal aluno esta bem acima da media, na media, abaixo 
da media, etc.; e depois a dispersao das notas e reduzida ou ampliada conforme a 
media dos desvios, ou o desvio padrao. E o que denomina "colocar as notas na 
curva", ou seja, dentro de uma distribui§ao que se aproxime de uma curva normal, 
que todos que sabem um pouco de estatistica conhecem. E isto que fazia o Provao: 
cada curso era colocado em uma distribui§ao que sempre garantia que haveria uns 
poucos nos conceitos mais altos, outros tantos nos conceitos mais baixos, e os demais 
distribuidos ao longo da escala. Este procedimento permitia dizer quais eram os 
cursos melhores e piores, mas nao permitia que comparassemos um "A" em nutri§ao 



com um "A" em medicina, nem nos dizia qual era a nota minima aceitavel para cada 
curso. 

A outra solucao, muito mais dificil, consistiria em definir, com bastante clareza, qual 
o nivel de conhecimentos esperado para os alunos de cada curso ao final de seus 
estudos. Esta metodologia e adotada, no Brasil, pelo SAEB, que e o sistema de 
avaliacao da educacao basica. O SAEB diz por exemplo que os alunos de matematica, 
na quarta serie do ensino fundamental, devem ter uma pontuacao de 250, os de 8 a 
serie uma pontuacao de 325, e os da terceira serie do ensino medio, uma pontuacao de 
400, em uma escala de a 500. A cada um destes valores esta associada uma 
descricao bastante detalhada dos conhecimentos e competencias que os estudantes 
devem ter em cada nivel. 

O ENADE tern um procedimento que se aproxima ao de uma distribuicao relativa. 
Cada prova tern um conceito de a 100, em separado D,para as questoes de formacao 
geral e de conhecimentos especificos. Depois, estas notas sao recalculadas em funcao 
da media e do desvio padrao de todas as provas da area no pais. Segundo o resumo 
tecnico, 

O calculo desse termo e realizado subtraindo-se da media das notas dos estudantes de 
uma insfituicao a media das notas de todos os estudantes do pais, para cada uma das 
areas, e dividindo-se o resultado da subtracao pelo desvio-padrao das notas de todos os 
estudantes do pais na area considerada. (p. 61). 

Assim, se a media de um curso for igual a media de todos os cursos, seu valor sera 
zero. O resultado desta operacao e fazer com que todos os cursos se distribuam ao 
redor da media zero, e com o desvio padrao de 1 (significando que, se a distribuicao 
nao for assimetrica, cerca de 67% dos cursos estarao um desvio padrao abaixo ou 
acima da media). 

A partir dai, sao feitas duas operacoes: primeiro, para que ninguem fique abaixo de 
zero na media, e possa variar entre zero e 5, diz o resumo tecnico: 

Ao afastamento padronizado de cada uma das insfituicoes sera somado o valor absoluto 
do menor afastamento padronizado entre todas as insfituicoes que oferecem o curso 
respectivo; em seguida, esse resultado sera dividido pela soma do maior afastamento 
padronizado com o modulo do menor. Finalmente, o resultado desse quociente sera 
multiplicado por 5 (p. 62). 

O resultado desta operacao e que a media, ao inves de ser sempre 2.5 para cada area 
de conhecimento, varia de area para area, sem que exista nenhuma interpreta§ao clara 



sobre o que significa esta variacao 1 . As diferencas na distribuicoes das notas podem 
ser vistas, por exemplo, nos graficos de medicina e fisioterapia, abaixo. 
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Medicina. Media: 3.78 



Fisioterapia. Media: 2.51 



Podemos concluir, por estes dados, que o cursos de medicina na media, sao melhores 
do que os de fisioterapia? Claro que nao. Para isto Ministerio da Educacao teria que 
ter estabelecido, com clareza, o nivel de conhecimentos considerado otimo, bom, 
razoavel, inaceitavel, etc., para cada area de conhecimento, e ter preparado os testes 
de maneira tal que houvesse uma correspondencia clara entre as pontuacoes e estes 
niveis; e nao poderia ter normalizado as notas em funcao das medias de cada area. Da 
forma em que esta a interpretacao dos resultados e semelhante a do Provao, no 
sentido de que o linico que se pode dizer e a posicao relativa de cada curso em relacao 
aos demais da area, e sem uma distribuicao normalizada dos resultados finais; com a 
agravante de que as posicSes sao dadas em relacao a uma media construida atraves de 
um procedimento arbitrario. 



1 "A forma de padronizacao utilizada na produ£ao do conceito final depende crucialmente do tamanho 
do afastamento da menor nota em rela5ao as demais. Assim sendo, esta padronizafao produz, em 
situafoes onde o menor conceito esta muito isolado dos demais [exatamente o caso do curso de 
medicina, conforme o grafico que esta no seu texto], conceitos altos para a maioria dos outros. Isto 
explica a inflagao de conceitos altos nos cursos de medicina e medicina veterinaria." Agradefo a Jose 
Francisco Soares este comentaiio, que ajuda a entender melhor o problema. 



O conceito final 

Ministerio tomou as tres notas de que dispunha - a media de conhecimentos gerais, a 
de conhecimentos especificos iniciais, e a de conhecimentos especificos ao final do 
curso - e calculou uma media geral, usando um criterio arbitrario de ponderacao - 
25%, 15% e 60% a cada um dos tres resultados, respectivamente. Nao se sabe de onde 
vieram estes pesos, e nem o que se supoe que esta combinacao de criterios pretenda 
medir. Se o que interessa e informar a sociedade sobre os cursos que produzem 
pessoas mais bem formadas, o importante e o resultado da avaliacao final, como fazia 
o Provao. Se o que interessa e o que o curso acrescenta, interessaria o ganho, se ele 
fosse uma medida confiavel. 

O resultado desta numerologia pode ser visto no quadro abaixo, com os resultados dos 
exames de conhecimentos especificos. As medias das areas variam, tanto para os 
ingressantes, quanta para os concluintes, assim como para os dois grupos tornados em 
conjunto. Terapia ocupacional tern a media mais alta entre os concluintes, 4,08. mas 
isto nao significa que, na media, os cursos desta area sejam melhores do que os de 
medicina, que tern media 3,78. A peniiltima coluna mostra a diferenca entre a 
pontuacao final, depois que foram feitas as ponderacoes das tres provas, e o conceito 
do exame final, que seria o adotado segundo o procedimento do Provao. O que se ve 
e que algumas areas, como a terapia ocupacional e a farmacia, tiveram perdas de cerca 
de meio ponto, e outras foram menos afetadas. Supondo que a formacao geral esteja 
correlacionada com a formacao previa dos alunos, que por sua vez esta relacionada 
com a origem social das famfiias dos alunos, e possivel que esta ponderacao esteja 
tendo o efeito de rebaixar os conceitos dos cursos que recebem alunos de origem 
social mais baixa. 



Quadro 1 





Medias das provas 


de conhecimentos 














especificos 






diferencas 






ingressantes 


concluintes 


total nota final 


distorcao 


ganhos 


1 AGRONOMIA 


2.94 




2.87 


2.91 


2.74 


-0.13 




-0.07 


2 EDUCACAO FISICA 


2.77 




2.92 


2.83 


2.92 


0.00 




0.15 


3 ENFERMAGEM 


3.09 




2.90 


3.02 


3.00 


0.10 




-0.19 


4 FARMACIA 


2.23 




3.31 


2.69 


2.90 


-0.41 




1.08 


5 FISIOTERAPIA 


3.45 




2.51 


3.09 


2.45 


-0.06 




-0.94 


6 FONOAUDIOLOGIA 


2.68 




2.52 


2.60 


2.40 


-0.12 




-0.16 


7 MEDICINA 


2.75 




3.78 


3.19 


3.63 


-0.15 




1.03 


8 MEDICINA VETERINARIA 


3.15 




3.55 


3.32 


3.42 


-0.13 




0.40 


9 NUTRICAO 


2.48 




2.92 


2.65 


2.65 


-0.27 




0.44 


10 ODONTOLOGIA 


2.98 




3.73 


3.33 


3.52 


-0.21 




0.75 


1 1 SERVICO SOCIAL 


2.62 




2.71 


2.66 


2.57 


-0.14 




0.09 


12 TERAPIA OCUPACIONAL 


3.40 




4.08 


3.69 


3.63 


-0.45 




0.68 


13 ZOOTECNIA 


3.33 




2.29 


2.88 


2.57 


0.28 




-1.04 


Total 


2.90 




3.04 


2.95 


2.93 


-0.11 




0.15 



Depois, as medias finais foram agrupadas em cinco grupos, com conceitos de 1 a 5. 
Uma outra conseqilencia da maneira em que as escalas foram construidas e que a 
metade dos cursos acabou ficando com conceitos 4 e 5, e somente 10% com 1 e 2. 
Isto nao significa nada, mas e dificil transmitir para o publico mais amplo, inclusive 
nas universidades, a interpretacao correta destes dados. O mais provavel e que as 
pessoas, simplesmente, multipliquem os conceitos por dois, e digam que metade dos 
cursos tern conceitos equivalentes aos tradicionais 8, 9 e 10 - uma conclusao 
totalmente falsa. 

Quadro 2 



Distribuicao dos 


cursos das areas 


por conceitos 








1 


2 


3 


4 


5 Total 


1 AGRONOMIA 


2.3% 


8.1% 


55.8% 


29.1% 


4.7% 


1 00.0% 


2 EDUCACAO FISICA 


2.6% 


1 .8% 


45.4% 


44.5% 


5.7% 


1 00.0% 


3 ENFERMAGEM 


0.6% 


5.0% 


41 .4% 


43.6% 


9.4% 


1 00.0% 


4 FARMACIA 


0.7% 


2.1% 


58.9% 


32.6% 


5.7% 


1 00.0% 


5 FISIOTERAPIA 


0.6% 


26.6% 


51.4% 


17.9% 


3.5% 


1 00.0% 


6 FONOAUDIOLOGIA 


3.5% 


22.8% 


52.6% 


19.3% 


1 .8% 


1 00.0% 


7 MEDICINA 


1.1% 




1 1 .2% 


58.4% 


29.2% 


1 00.0% 


8 MEDICINA VETERINARIA 


1 .2% 




16.5% 


61.2% 


21.2% 


1 00.0% 


9 NUTRICAO 


1 .9% 


6.7% 


64.8% 


20.0% 


6.7% 


1 00.0% 


10 ODONTOLOGIA 


0.8% 




9.4% 


65.6% 


24.2% 


1 00.0% 


1 1 SERVICO SOCIAL 


1 4.0% 


15.1% 


21.5% 


45.2% 


4.3% 


1 00.0% 


12 TERAPIA OCUPACIONAL 


7.4% 




3.7% 


48.1% 


40.7% 


1 00.0% 


13 ZOOTECNIA 




34.3% 


34.3% 


20.0% 


1 1 .4% 


1 00.0% 




2.3% 


8.1% 


39.6% 


39.5% 


10.5% 


1 00.0% 



O antes e o depois 

A aplica§ao da mesma prova para alunos iniciantes e concluintes dos cursos trouxe a 
grande surpresa do ENADE, o fato de que, em muitos cursos, os estudantes que 
concluiam sabiam menos do que os que entravam, nas questoes especificas de cada 
area, como indicado na ultima coluna. O MEC so incluiu, na tabela Excel, a media 
dos conhecimentos gerais de todos os estudantes, sem distinguir se eram iniciantes ou 
concluintes, dizendo em seu relatorio que nao haviam diferencas importantes. Para as 
provas de conhecimento especifico, no entanto, foi possivel calcular o "ganho", como 
a diferencas das medias dos iniciantes e concluintes. O grafico abaixo mostra a 
distribuicao dos resultados desta conta, para todos os cursos: 
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Acrescimo de conhecimentos especif icos 



E uma bela curva normal, o que significa que os cursos se distribuem ao redor da 
media que e proxima de zero, com um numero similar de cursos aonde os alunos saem 
melhor do que entram, e outros em que saem mais ignorantes, e com pouca diferenca 
na maior parte deles. A interpretacao mais 6b via para este resultado e que os exames, 
na realidade, nao estao medindo o que se supoe que eles mecam. Pelo que diz o 
relatorio tecnico, os itens das provas foram submetidos a testes estatisticos para 
verificar sua capacidade de discriminacao e sua correlacao com o teste como um todo. 
Alem desta validacao interna, de consistencia, testes e escalas precisam ser validados 
externamente, para saber se elas de fato estao medido aquilo que se supoe que elas 
medem. Nao e apropriado, assim, usar uma balanca para medir a altura das pessoas, 
mesmo que peso e altura costumem estar correlacionados. Neste caso, aparentemente, 
a linica validacao foi o consenso entre os professores que fizeram as provas. E 
possivel imaginar que, em algumas areas, os cursos sao bem estruturados, e os 
professores que elaboraram as provas compartem uma visao mais definida do que se 
espera que os alunos aprendam ao longo do curso. Em outras areas, no entanto, este 
consenso pode ser menos claro, e, na falta de um trabalho mais aprofundado de 
validacao, elas podem estar medindo qualquer coisa, ou coisa nenhuma. 

Quem ganha e quem perde? 

Se a distribui§ao dos ganhos nao e aleatoria, que fatores poderiam explicar este 
resultado? Ate o Ministerio tornar disponivel os microdados do ENADE, com 
informa§oes individualizadas, e incluindo ai as respostas ao questionario 
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socioeconomico, a linicas informacoes que temos sobre os cursos sao a area de 
conhecimento, o Estado ou regiao, e se o estabelecimento e federal, estadual ou 
privado. O quadro abaixo da a media dos conceitos de conhecimento geral, 
conhecimento especifico dos ingressantes, conhecimentos especificos dos concluintes, 
e ganhos - a diferenca entre os conhecimentos dos que concluem e os que ingressam, 
por regiao, area de conhecimento e rede a que o curso pertence (as poucas municipals 
estao incluidas entre as privadas). A "significacao", debaixo de cada grupo, diz se as 
diferencas dos conceitos se devem ao fato de os cursos pertencerem a determinados 
grupos, ou se sao devidas a outras caracteristicas dos cursos. Quanta menor o niimero, 
mais significativas sao as diferencas entre grupos. 2 

Quadro 3 



Medias 


dos resultados do ENAD 




Geral Inicial 1 


-inal Ganho 


Norte 


2.35 


2.63 


2.63 


0.05 


Nordeste 


2.59 


2.82 


3.02 


0.26 


Sudeste 


2.56 


2.93 


3.04 


0.H 


Sul 


2.74 


3.00 


3.21 


0.22 


Centra Oeste 


2.51 


2.71 


2.74 


0.12 


Siqnificagao 


0.000 


0.0000.000 


0.40. 


Agronomia 


2.27 


2.94 


2.87 


-0.09 


Educacao Fisica 


2.84 


2.77 


2.92 


0.16 


Enfermagem 


3.00 


3.09 


2.90 


-0.19 


Farmacia 


2.23 


2.23 


3.31 


1.0* 


Fisioterapia 


1.54 


3.45 


2.51 


-0.9* 


Fonoaudiologia 


1.76 


2.68 


2.52 


-0.07 


Medicina 


3.64 


2.75 


3.78 


1.06 


Medicina Veterinaria 3.18 


3.15 


3.55 


0.29 


Nutricao 


2.06 


2.48 


2.92 


0.41 


Odontologia 


3.26 


2.98 


3.73 


0.7: 


Servico Social 


2.71 


2.62 


2.71 


0.3* 


Terapia Ocupacional 3.23 


3.40 


4.08 


0.7C 


Zoologia 


2.77 


3.33 


2.29 


-0.91 


Significagao 


0.000 


0.0000.000 


0.001 


Estaduais 


3.24 


3.17 


3.35 


0.3* 


Federals 


3.48 


3.27 


3.47 


0.26 


Privados 


2.37 


2.81 


2.89 


0.1: 


Significagao 


0.000 


0.0000.000 


0.07 













2 Nota tecnica: A medida usual utilizada nas analises de variancia e o "f-ratio", que e tanto maior 
quanto mais importantes forem as diferencas entre grupos. Esta medida, no entanto, nao e padronizada, 
e depende do numero de grupos na analise, por isto optamos por indicar somente sua significacao 
estatfstica. Uma significafao de 0.000 indica que a probabilidade de que as diferen5as entre grupos seja 
aleatoria e menor do que 1 em mil, ou seja, as diferen5as entre grupos sao significativas; uma 
significafao de 0.5 significa que existe uma probabilidade em 2 de que as diferenfas entre grupos 
sejam aleatorias, ou seja, as diferen5as entre grupos nao sao significativas. 



Assim, a regiao em que o curso esta afeta todos os resultados, menos o ganho dos 
alunos que terminam em relacao os que iniciam. Era esperado que o Sudeste e Sul 
apresentassem valores mais altos nos tres testes, e e interessante que o Nordeste nao 
esteja tao longe dos demais. 

Existem diferencas importantes nas medias entre as areas de conhecimento: as 
medias mais altas sao as de medicina, odontologia, terapia ocupacional e medicina 
veterinaria, e as mais baixas, fonoaudiologia e fisioterapia. Mas, da forma pela qual 
foram feitas as padronizacoes, estes dados nao sao comparaveis, e nao permitem dizer 
se uma area de conhecimento e melhor do que outra. O dado mais curioso, nesta parte, 
sao os niimeros negativos na ultima coluna. Ha diferencas importantes de resultados: 
medicina, odontologia e terapia ocupacional acrescentam conhecimentos aos 
estudantes; zoologia e fisioterapia apresentam resultados muito piores na saida do que 
na entrada; e em muitas outras areas, como a educacao fisica, enfermagem, medicina 
veterinaria, e fonoaudiologia, praticamente nao ha diferenca. Para interpretar isto, no 
entanto e necessario primeiro decifrar o enigma do ENADE. 

Finalmente, os efeitos das redes sao os esperados, com os resultados melhores no 
sistema federal, e os piores no sistema privado, em media, com a ressalva que as 
universidades estaduais paulistas se recusaram a participar do exame. 

Como utilizar os resultados obtidos? 

Em principio, nao teria sido necessario aplicar uma prova de conhecimentos gerais 
nos alunos iniciantes, ja que esta informacao, poderia ter sido obtida com os 
resultados do ENEM, o exame nacional do ensino medio, utilizado cada vez mais 
como informacao para os exames vestibulares. O ENEM nao pretende cobrir todos as 
30 dimensoes do exame preparado para o ENADE, mas, como a validade tecnica 
deste exame do ENADE e muito duvidosa, utilizar o ENEM teria sido melhor, 
embora nao fosse possivel comparar os resultados na entrada e na saida dos cursos. 
Uma analise cuidadosa da formacao geral dos alunos ao entrar nos cursos superiores 
poderia ser uma informacao importante para interpretar os resultados obtidos ao longo 
dos cursos, junto com as demais informacoes obtidas pelo questionario 
socioeconomico. A comparacao entre os resultados iniciais e finais neste teste poderia 
indicar se os cursos estao contribuindo para melhorar a formacao dos alunos em 
algumas das 30 dimensoes, mas e obvio que isto jamais poderia ser feito com uma 
prova de 10 questoes. O MEC reconheceu isto na pratica, ao nao divulgar os 
resultados de iniciantes e concluintes de forma separada, e ao nao tentar analisar de 
forma separada as diferentes dimensoes. 
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Quanto aos resultados especificos, um exemplo do que poderia ser feito e dado no 
quadro abaixo, que lista os 10 cursos de medicina que mais acrescentam 
conhecimentos a seus alunos, e os que menos acrescentam: 

Quadro 4 

Ganhos dos alunos dos cursos de medicina Geral Inicial Final Ganho 

maiores ganhos: 

ESCOLA BAHIANA DE MEDICINA E SAUDE PUBLICA 

UNIVERSIDADE FEDERAL DO RIO DE JANEIRO 

ESCOLA DE CIENCIAS MEDICAS DE ALAGOAS 

FACULDADE DE MEDICINA DO VALE DO AC0 

UNIVERSIDADE FEDERAL DE GOIAS 

UNIVERSIDADE ESTADUAL DE MARINGA 

UNIVERSIDADE FEDERAL DE SAO PAULO 

UNIVERSIDADE ESTADUAL DO OESTE DO PARANA 

UNIVERSIDADE FEDERAL DE MATO GROSSO 

ESCOLA DE MEDICINA SOUZA MARQUES DA FUNDACAO TECNICO-EDUCACI 

Menores ganhos e perdas 

PONTIFICIA UNIVERSIDADE CATOLICA DE CAMPINAS 

UNIVERSIDADE ESTADUAL DE MONTES CLAROS 

UNIVERSIDADE DE MARILIA 

UNIVERSIDADE FEDERAL DO ESPIRITO SANTO 

UNIVERSIDADE LUTERANA DO BRASIL 

UNIVERSIDADE DE RIBEIRAO PRETO 

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE 

UNIVERSIDADE FEDERAL DE PELOTAS 

UNIVERSIDADE DE CAXIAS DO SUL 

UNIVERSIDADE DE BRASILIA 

UNIVERSIDADE FEDERAL DE RORAIMA 

Estes dados podem ser sugestivos, mas nao sao confiaveis nem mesmo para a area de 
medicina, e devem ser menos confiaveis ainda para as demais. E improvavel que os 
alunos que iniciam medicina em Roraima tenham aproveitamento maximo na 
avaliacao, ou que os da Escola Baiana de Medicina e Saiide Piiblica tenham somente 
0,1 de conceito. 

A solucao do misterio 

Nos quadros 3 e 4, tentamos explorar o sentido dos ganhos e perdas de conhecimentos 
dos diferentes cursos, e chegamos a pensar que os resultados negativos poderiam ser 
explicados por problemas de validacao das provas. Mas existe uma solucao mais 
simples para o misterio, que so entendemos ao ler, na pagina 63 do resumo tecnico, 
que a padronizagao das notas do componente especifico e feita separadamente para 
os ingressantes e concluintes, o que significa que os dois conceitos nao sao 
compardveis . 

O correto teria sido padronizar todas as notas de medicina, por exemplo, em uma 
mesma escala normalizada, incluindo os iniciantes e os concluintes. Isto nos 
permitiria dizer por exemplo que, dentro de uma escala de a 5 com media 2.5, os 
formados na faculdade X teriam conceito 4, e os ingressantes, conceito 1, o que daria 
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um ganho efetivo de 3. E assim que se procede no SAEB, por exemplo: existe uma 
escala linica de matematica, e os resultados dos alunos das diversas series sao 
distribuidos ao longo desta escala. 

Mas, se eu padronizo as notas dos iniciantes e concluintes em separado, nao tenho 
como calcular este ganho, e o unico que eu poderia fazer e comparar a posicao 
relativa dos iniciantes e concluintes de cada curso em relacao aos demais. Mesmo 
esta comparacao seria dificil de interpretar, ja que, como vimos, as medias variam 
arbitrariamente, em funcao das notas mais baixas que entram no ajuste feito para 
eliminar os valores negativos. 

Se a padronizacao estivesse feita corretamente, as medias nacionais de desempenho 
para cada area deveriam ser as mesmas para ingressantes e para os concluintes. No 
entanto, a medias dos ingressantes e concluintes, quando tornados em sua totalidade, 
varia de area para area, mesmo quando ponderada pelo niimero de estudantes, como 
pode ser visto no quadro abaixo. 

Quadro 5 







Ingressantes 




concluintes 






medii 


a 




Std. 


media 




Std. 




ponderada 


total 


Deviation 


ponderada 


total 


Deviation 


1 AGRONOMIA 




3.1 


5,910 


1.05 


2.98 


3,616 


0.74 


2 EDUCACAO FISICA 




2.7 


35,761 


0.64 


2.93 


17,534 


0.69 


3 ENFERMAGEM 




3.0 


35,553 


0.43 


2.79 


11,207 


0.82 


4 FARMACIA 




2.2 


14,395 


0.67 


3.43 


9,110 


0.61 


5 FISIOTERAPIA 




3.4 


23,302 


0.49 


2.42 


11,872 


0.75 


6 FONOAUDIOLOGIA 




2.6 


2,271 


0.54 


2.53 


2,089 


0.86 


7 MEDICINA 




2.7 


10,796 


0.63 


3.72 


7,238 


0.81 


8 MEDICINA VETERINARIA 




3.2 


6,838 


0.70 


3.58 


3,938 


0.59 


9 NUTRICAO 




2.5 


10,190 


0.65 


2.93 


4,194 


0.64 


10 ODONTOLOGIA 




3.0 


8,034 


0.81 


3.72 


6,881 


0.51 


1 1 SERVICO SOCIAL 




2.5 


8,660 


1.02 


2.56 


4,845 


1.09 


12 TERAPIA OCUPACIONAL 




3.4 


1,057 


0.78 


4.07 


712 


0.86 


13 ZOOTECNIA 




3.4 


1,510 


0.68 


2.34 


894 


1.17 


Total 




2.9 


164,277 


0.73 


3.03 


84,130 


0.87 



Esta e, pois, a solucao do misterio: as diferencas entre iniciantes e concluintes nao 
significam nada, porque as notas nao comparaveis. Mas, se elas nao sao comparaveis, 
fica um misterio mais profundo ainda: porque foram feitas as duas provas? 

Conclusao 

Tudo indica que o ENADE foi feito de forma amadoristica, com grande ambicao, mas 
por pessoas com pouco ou nenhum conhecimento das metodologias adequadas para 
este tipo de trabalho. Avaliacoes em grande escala sao procedimentos dificeis e 
complexos, e e normal que ainda exista muita coisa a ser feita para aperfeicoar o 
ENADE. Os resultados teriam sido melhores se os ensinamentos adquiridos nas 
diversas rodadas do Provao tivessem sido aproveitados, e se o Ministerio tivesse 
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buscado pessoas com conhecimento tecnico e estatistico apropriados, na area de 
avaliacao, para preparar e validar as provas. 

O Ministerio da Educacao tem reiterado que os resultados do ENADE nao tern muita 
importancia neles mesmos, e precisariam ser vistos em conjunto com outras 
avaliacoes sobre as condicoes do curso, que estao prometidas para o future Em parte, 
esta afirmacao esta relacionada com a ideia de que nao se deve avaliar um curso 
somente pelos seus resultados, mas tambem pelo processo que levou a este resultado. 

Isto depende, no entanto, do que se pretende com a avaliacao. Fazendo uma metafora 
com a medicina, e possivel dizer que, para o paciente, o que interessa e se o hospital e 
bom e trata bem os doentes, e nao se as instalacoes sao ruins, ou se a verba e pouca, 
ou se os medicos nao puderam ser bem formados. E claro que, para o medico que 
trabalha no hospital, e importante poder entender porque o tratamento nao foi tao bom 
quanta poderia ser, e as autoridades de saiide devem ter o mesmo interesse, para 
melhorar a infra-estrutura e os processos que produzem os resultados. O Provao era 
um exame de resultados, para informar o publico, enquanto que o ENADE e uma 
mistura, e a sua combinacao com informacoes sobre processos e recursos, quando 
houver, vai obscurecer ainda mais a informacao que o publico e a sociedade 
necessitam, inclusive para poder apoiar as demandas por mais recursos e mais apoio 
pelos quais as instituicoes de ensino clamam. 

No campo minado que e o debate sobre a educacao no Brasil, muitas pessoas se 
opoem, por principio, a medidas quantitativas em geral, e ao ordenamento de cursos 
em hierarquias de qualidade e desempenho em particular. Nao foi facil para o governo 
federal veneer estas resistencias e dar continuidade a ideia de um Exame de Cursos, 
herdada do governo anterior, com a promessa de importantes aperfei§oamentos. O 
risco e que as dificuldades de interpreta§ao dos resultados do ENADE, ao inves de 
servir para aperfei§oa-lo, acabem dando argumentos aos que nunca quiseram que ele 
existisse. 
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